Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection
Task-CoEvolve：自适应验证任务选择的高效 Harness 优化
🧭 LLM Agent 自适应验证任务选择
The University of Tokyo
通过方差加权采样聚焦高分歧任务并估计全量分数，在保持性能的同时将 harness 优化评估成本降 80%
📌 工作参考价值（3 点）
- 在电商对话导购、自动化选品等 Agent 工作流中，harness/prompt 迭代需要跑大量案例，可借鉴 Task-CoEvolve：每轮只评估候选方案分歧最大的样本（能力边界附近），而不是固定全集，能大幅节省 LLM 推理成本。
- 用概率加权（Horvitz-Thompson / IPS）从部分采样样本估计全量指标，保证迭代间对比一致；推荐从业者熟悉 IPS，在评估 LLM 生成质量或 Agent 决策时可直接迁移。
- 工程实现简单：记录每个候选 harness 在各任务上的成功/失败结果，计算任务间方差作为采样权重，评估指标时用 1/采样概率 加权；无需额外模型，可快速接入现有优化循环。